Appearance
Heterogeneous treatment effects and causal mechanisms
Summary
Problem: 因果推断的"可信度革命"使得研究者能够识别和估计因果效应,但理解哪些机制产生了这些效应仍然是一个挑战。当前占主导地位的定量机制评估方法依赖于检测预处理协变量上的异质性处理效应(HTEs),然而这一做法缺乏坚实的理论基础。作者通过对2021年三大政治学期刊(AJPS、APSR、JoP)的调查发现,56%的定量研究估计了HTEs,其中95%将其解释为关于机制的信息,但理论指导远远落后于实证实践。
Approach: 本文通过扩展因果中介分析框架(Imai, Keele, and Tingley 2010),建立了一个将调节变量与机制联系起来的最小结构框架。作者首先阐明了使用HTEs进行机制归因所需的排除性假设,然后引入了"机制检测变量"(MDV)的概念,最后通过一个关于腐败信息与投票行为的理论模型及蒙特卡洛模拟来展示其理论结果。
Finding: 研究发现:(1)没有额外的(通常是隐含的)排除性假设,HTEs不能为机制激活提供证据;(2)即使这些假设得到满足,HTEs的存在支持机制活跃的推断,但HTEs的缺失通常对机制激活不具信息量;(3)对结果变量的常见非仿射变换(如分箱、取对数、缩尾处理)会违反加性可分离性,产生对机制激活无信息量的异质性。
Significance: 这一研究对政治学及其他社会科学领域具有重要影响,因为它揭示了当前实证实践中普遍存在的机制归因错误,并提供了改进解释和研究设计的实用指导。该框架补充了关于HTEs估计的统计问题(如统计功效不足、多重比较问题)的理论理解,并扩展了"实证模型的理论含义"(TIEMs)这一新兴文献。
Theoretical Framework
- Theoretical tradition: 本文属于因果推断方法论传统,具体而言是潜在结果框架(Neyman–Rubin因果模型)与因果中介分析的交叉领域,同时属于"实证模型的理论含义"(TIEMs)这一新兴研究传统。
- Prior theories built upon: 本文建立在以下理论基础上:Neyman–Rubin潜在结果框架(Neyman 1923; Rubin 1974);因果中介分析框架(Imai, Keele, and Tingley 2010; Imai and Yamamoto 2013);机制定义(Slough and Tyson 2024);TIEMs文献(Abramson, Koçak, and Magazinnik 2022; Ashworth, Berry, and Bueno de Mesquita 2021; 2024; Bueno de Mesquita and Tyson 2020; Slough 2023)。
- Causal mechanism: 本文的核心机制是:处理变量Z通过影响中介变量(机制表征)M,进而影响结果变量Y。机制被定义为"一种潜在过程,当被激活时影响经验以产生(因果)效应"(Slough and Tyson 2024)。HTEs与机制之间的联系在于:如果某个预处理协变量Xk调节了机制M对处理Z的响应程度或机制M对结果Y的影响程度,那么在不同Xk水平上CATEs的差异可能反映机制的激活。
- Key assumptions: 本文阐明了使用HTEs进行机制归因所需的关键假设:(1)排除性假设:如果某个协变量调节了某一机制的效果,它不能同时调节任何其他机制的效果——否则无法确定观察到的异质性由哪种机制造成;(2)加性可分离性:一个机制对结果的影响应与其他机制对该结果的影响加性可分离;(3)机制检测变量(MDV)的存在:协变量能预测机制更强激活或机制对结果更强影响。
- Theoretical move: 本文扩展了现有的因果中介分析框架,将其与HTEs分析联系起来,并挑战了当前实证实践中将HTEs的存在/缺失直接解释为机制激活/惰性的常见做法。具体而言,本文表明HTEs的存在在排除性假设下可以支持机制激活的推断,但HTEs的缺失通常对机制激活不具信息量。此外,本文还揭示了结果变量的测量方式(如非线性变换)如何影响HTEs作为机制检验的有效性。
- Scope conditions: 本文的框架适用于随机实验和满足条件独立假设的观测研究。框架假设存在至少一个预处理协变量作为候选的机制检测变量。结果适用于具有一个、两个或多个机制的情形。框架特别关注通过比较不同协变量水平上的CATEs来评估机制激活的常见实证实践。
Research Design
本文是理论性研究,主要采用形式化建模方法。研究设计包括:(1)建立潜在结果框架下的因果中介模型,定义CATEs、HTEs、活跃机制等核心概念;(2)推导HTEs与间接效应之间的理论关系,阐明识别条件;(3)通过一个关于腐败信息与投票行为的理论模型(包含两个结果变量:选民效用和投票选择)展示理论结果;(4)进行蒙特卡洛模拟验证理论预测在有限样本中的表现。分析单位是选民个体,关键自变量是腐败信息处理(ci),因变量是选民对现任者的效用评价(y1)和投票选择(y2),调节变量是腐败厌恶程度(λi)和党派立场(ai)。
Data & Sample
本文主要使用理论分析和模拟数据。实证部分包括:(1)对2021年AJPS、APSR和JoP三大政治学期刊全部定量实证文章的调查(N=235篇定量实证文章,其中134篇报告了HTEs);(2)蒙特卡洛模拟,基于理论模型生成数据,变化参数包括选民对现任者的平均支持率(ȳi2∈{0.1, 0.2, …, 0.9})和样本量(n∈{100, 500, 1,000})。此外,作者还分析了四项关于党派偏见如何调节选民对腐败揭露反应的实证研究(Anduiza, Gallego, and Muñoz 2013; Arias et al. 2019; de Figueiredo, Hidalgo, and Kasahara 2023; Eggers 2014)。
Analytical Strategy
本文的分析策略包括:(1)形式化理论推导:在潜在结果框架下定义CATEs和HTEs,建立HTEs与因果中介分析中间接效应的理论联系,推导识别条件;(2)理论模型的解析分析:通过一个简化的选民效用模型(ui = −λici + ai + εi),解析推导不同调节变量和结果变量组合下的CATEs差异(Remark 1和Remark 2);(3)蒙特卡洛模拟:使用理论模型指导数据生成过程,检验在有限样本下检测HTEs的统计功效,使用多种CATEs差异估计量(见附录A3.3、图A3和图A5);(4)对四项实证研究的再分析:应用所提出的框架评估这些研究中使用HTEs进行机制归因的有效性。
Results & Findings
主要发现一:HTEs的存在需要排除性假设才能支持机制激活的推断。 作者证明,CATEs的差异与归因于某一机制的间接效应差异等价,当且仅当排除性假设成立——即协变量不调节其他机制的效果。这一假设在实证实践中通常是隐含的而非明确的。与因果中介分析中的序贯可忽略性假设相比,排除性假设既非逻辑上更强也非更弱,这意味着使用HTEs进行机制检测并不比中介分析更少假设。
主要发现二:HTEs的存在可以支持机制激活,但HTEs的缺失通常不具信息量。 在排除性假设下,不同协变量水平上HTEs的存在揭示该协变量是一个机制检测变量(MDV),这足以推断相关机制对样本中至少一个单位是活跃的。然而,如果候选MDV不存在HTEs,研究者无法得知机制是活跃还是惰性——缺乏异质性可能是理论设定错误、机制对所有单位产生相同效应、或机制惰性的结果。这限制了使用HTEs排除机制激活的能力。
主要发现三:结果变量的测量方式影响HTEs作为机制检验的有效性。 排除性假设意味着一个机制对结果的影响应与其他机制的影响加性可分离。但常见的非仿射变换(如分箱、取对数、缩尾处理)违反这一性质,产生对机制激活不具信息量的异质性。在腐败信息与投票行为的例子中,当结果变量是选民效用(y1)时,HTEs仅在腐败厌恶程度(λ)上出现,正确指向腐败厌恶机制;但当结果变量是投票选择(y2)时,党派立场(a)上也出现HTEs,尽管党派立场并不调节任何机制——这是由二元选择导致的"天花板/地板效应"造成的。蒙特卡洛模拟进一步表明,在有限样本中,研究者更有可能(统计功效更高)在党派立场上检测到HTEs而非在腐败厌恶上,这意味着不能依赖统计性质来筛选有信息量的异质性。
零结果与意外发现:作者发现HTEs的缺失对机制激活不具信息量,这与当前实证实践中将HTEs缺失解释为机制惰性的常见做法相矛盾。此外,作者发现即使理论(从而机制)固定不变,仅改变结果变量的测量方式(从效用变为投票选择)就会改变HTEs的模式,这一发现揭示了测量选择对机制归因的关键影响。
Limitations
作者承认以下局限性:(1)框架主要关注通过比较不同协变量水平上的CATEs来评估机制的常见实证实践,可能不涵盖所有HTEs的使用方式;(2)排除性假设在实际应用中可能难以验证,作者未提供检验这些假设的统计方法;(3)框架假设机制可以用中介变量表示,但某些机制可能难以用单一中介变量表征;(4)作者未提供解决HTEs缺失不具信息量问题的完整统计方案,仅讨论了可能的改进方向;(5)对四项实证研究的再分析主要作为说明性示例,未进行全面的实证评估。
Key Contributions
- 首次建立了HTEs与因果机制之间关系的系统性理论框架,阐明了使用HTEs进行机制归因所需的排除性假设
- 证明了HTEs的存在在排除性假设下可以支持机制激活的推断,但HTEs的缺失通常对机制激活不具信息量
- 揭示了结果变量的测量方式(如非线性变换)如何影响HTEs作为机制检验的有效性
- 扩展了"实证模型的理论含义"(TIEMs)文献,将因果中介框架与形式理论模型明确联系起来
- 补充了关于HTEs估计的统计问题(统计功效不足、多重比较问题)的理论理解
- 提供了实证研究者使用HTEs学习机制的实用指导,包括理论属性、解释改进和前瞻性研究设计建议
- 通过分析四项关于党派偏见与腐败揭露的实证研究,具体展示了框架的应用价值
Key Claims
"We show first that this design cannot provide evidence of mechanism activation without additional, generally implicit, exclusion assumptions." (Abstract)
"Further, even when these assumptions are satisfied, the presence of HTEs supports the inference that the mechanism is active but the absence of HTEs is generally uninformative about mechanism activation." (Abstract)
"Our first identification result shows that a difference in CATEs is generically equivalent to the difference in the conditional average indirect effect attributable to a mechanism if and only if exclusion assumptions hold." (Section: Framework)
"The lack of heterogeneity could be a consequence of misspecification of the theory, a mechanism that produces the same effect for all units, or an inert/inactive mechanism. This limits our ability to rule out the activation of a mechanism using HTEs." (Section: Framework)
"But common non-affine transformations of the outcome variable—for example, binning, logging, or winsorization—violate this property of additive separability, generating heterogeneity that is not informative about mechanism activation." (Section: Framework)